Evaluación de desempeño de estudiantes de salud, usando el modelo de calidad de cuidado percibido por la comunidad (página 2)

METODOLOGÍA

En el estudio participaron 50 estudiantes de medicina, en
práctica comunitaria con el Proyecto UNI, 94
familias de dos áreas rurales de Cali, docentes
coordinadores de la práctica y funcionarios de las
instituciones
de salud de las
comunas. Aunque la idea inicial fue evaluar estudiantes de todas
las disciplinas, sólo se consideraron los de medicina,
pues las familias los reconocían más
fácilmente.

El estudio se inició con la búsqueda de
variables y
los criterios de las familias para evaluar la calidad de la
atención, utilizando la satisfacción
del usuario como indicador de desempeño. En la primera fase se
sensibilizó a los participantes sobre alcances y
beneficios del estudio y se realizaron consultas para
diseñar y probar una primera versión de los
instrumentos y de la metodología. Se obtuvo información cualitativa y cuantitativa
sobre variables, criterios para calificarlas y métodos
para obtener información, analizarla y difundirla. Las
variables fueron servicios
mínimos, conocimientos del proveedor, comunicación e información brindada
al usuario y liderazgo para
promover acciones en
beneficio de la salud.

En la segunda fase, se aplicaron los instrumentos para
recolección de información sobre cada una de las
variables. Las familias evaluaron dos estudiantes en promedio,
mediante la aplicación de un cuestionario
semiestructurado y el empleo de
otras técnicas
como grupos focales,
entrevistas en
profundidad, comentarios y conversaciones informales. Para
estandarizar la aplicación de las técnicas, se
capacitó a encuestadores y demás participantes en
la evaluación.

Se estudió si la misma variable, medida con
criterios diferentes, es decir, el de usuarios y proveedores,
proporcionaba resultados concordantes. Se evaluó la
consistencia interna del cuestionario, usando el coeficiente de
Kuder Richardson (KR20)12 para identificar si los
items estaban midiendo diferentes aspectos de la misma
variable.

También se evaluó la concordancia entre
los evaluadores -familias y docentes- y la concordancia entre las
familias, aplicando el método
estadístico Kappa13, el cual refleja la
confiabilidad y precisión del instrumento.

Otro aspecto examinado fue la validez del cuestionario.
Como las variables y preguntas para obtener información
sobre el desempeño de los estudiantes se desarrollaron con
la comunidad y se
probaron en varios grupos de la misma área
geográfica, se comprobó que los criterios y
preguntas utilizados reflejaron lo que la comunidad quería
medir. Se realizó un análisis grupal para discutir resultados y
hacer recomendaciones para futuras aplicaciones.

RESULTADOS

Se encontró que las familias y los docentes de la
Facultad de Salud concordaron en su apreciación sobre un
mayor desempeño de los estudiantes en una de las comunas,
a pesar de la pobre coincidencia entre ambas comunas. Las causas
de la diferencia entre las comunas fueron varias. Por un lado,
las capacidades y actitudes de
los estudiantes hacia la práctica comunitaria, las
características de los miembros de la Facultad y su
compromiso con el programa, la
aplicación de técnicas de enseñanza y la planificación y organización de la práctica en cada
uno de los sitios.

Las diferencias entre docentes y familias se pueden
explicar, porque se midió la misma variable con una
escala diferente
y, por otro lado, los estudiantes los evaluaron los
médicos y el personal de
diferentes disciplinas (odontólogos, fisioterapistas,
enfermeras, bacteriólogos, fonoaudiólogos), lo que
podría reducir la precisión de los resultados por
las diferentes lógicas en la aplicación de
criterios de medición.

Precisión del cuestionario. Del total de
estudiantes de medicina que participaron en el estudio, 45% fue
evaluado por más de una familia. La
concordancia entre las familias que evaluaron al mismo estudiante
varió, siendo moderada para algunas variables y muy baja
para otras. El coeficiente de Kappa osciló entre -0.25 y
0.49, donde los casos negativos indican que la concordancia
observada fue inferior a lo esperado al azar. La mayor
concordancia entre las familias ocurrió en las preguntas
referentes a si el estudiante realizaba reuniones con la
comunidad (49%), tomaba la presión
arterial (48%), tomaba el pulso (39%) y si estaba comprometido
con la familia. La
mayor incongruencia se presentó en las preguntas
referentes a si el estudiante había notificado
cuándo iba a regresar (-41%) y si había
suministrado alguna información educativa sobre salud
(-25%).

La consistencia interna más alta se
encontró en la variable liderazgo (96.6%) cuando todos los
puntos estaban presentes (Cuadro 1). No hubo mayores cambios en
este porcentaje cuando se removió cada uno de los puntos
de la escala. Sin embargo, cuando se omitió el punto
referente a "cumple los compromisos adquiridos," la consistencia
interna alcanzó 100%.

La concordancia entre los dos evaluadores para la
variable liderazgo, se encontró únicamente en los
puntos referentes a si el estudiante "mostraba interés
por el usuario y su familia" y si el estudiante "hizo que el
usuario y la familia se interesaran por su propia
salud".

La consistencia interna para la variable "Tipo de
servicios" cuando todos los puntos estaban presentes, fue 76.5%
(Cuadro 2). La consistencia interna aumentó a 81% cuando
se excluyó el punto que se refería a si el
estudiante había realizado actividades adicionales, lo
cual significa que este punto tampoco contribuyó a la
homegeneidad de la escala.

Al aplicar el coeficiente de Kappa a la escala "Tipo de
servicios", se encontró la más alta concordancia
entre familias y docentes para los puntos que preguntaban si los
estudiantes habían realizado reuniones con la comunidad.
La menor concordancia se encontró en el punto sobre
"prácticas educativas." Una explicación probable
para este hallazgo es que los docentes no siempre pueden
controlar las actividades emprendidas por los estudiantes durante
las visitas domiciliarias.

La consistencia interna para la variable
información y comunicación fue 75.6% (Cuadro 3).
Este porcentaje descendió a 63.7% y 69.1%, cuando se
omitieron los puntos que se refieren a si el estudiante "orienta
y da explicaciones claras", "se hace entender" y "anima a la
familia a hablar". Por otro lado, la consistencia interna es
significativamente superior (93.2%) cuando se excluyó el
punto "usó cartillas o folletos", por tanto, su
inclusión en la escala se debe considerar. No hubo
concordancia entre las familias y los docentes con respecto a
esta variable.

La consistencia interna más baja fue para la
variable conocimiento
(54%) cuando todas las preguntas estaban presentes (Cuadro 4).
Este porcentaje fue superior (77%) cuando se omitían
preguntas como "el estudiante hace preguntas en forma
apresurada", lo cual podría significar que no contribuye a
la homegeneidad de la escala.

La consistencia interna para la escala que mide "calidad
de la atención" (Cuadro 5) estuvo alrededor del 70%,
cuando todos las preguntas estuvieron presentes. Se
encontró una pequeña variación cuando se
excluyeron las preguntas que se referían a si el
estudiante "fue puntual" y si "la familia se sintió
satisfecha con la atención suministrada"; en ambos casos
la consistencia interna fue mayor a 83% y 73%, respectivamente;
por lo tanto, se debe considerar su inclusión en la
escala.

La menor consistencia interna (64%), se alcanzó
cuando se omitió el punto que preguntaba si el estudiante
había demostrado interés por la salud del usuario.
La concordancia entre evaluadores en todos los puntos de esta
variable fue muy baja. La mayor concordancia se encontró
en los puntos que preguntaban si el estudiante mostraba
interés por la salud del usuario (21%), si era puntual
(17%) y si demostraba seguridad
(12%).

Validez del método. Fue alta la confiabilidad del
cuestionario, medida por la consistencia interna de los criterios
para evaluar cada variable. La consistencia interna más
alta se encontró en la escala que mide el "liderazgo",
seguida por las variables "tipo de servicios" y
"comunicación e información". La más baja
estuvo en las variables "conocimiento" y "atención
adecuada". Probablemente, estas dos últimas sean las
más difíciles de medir para las familias, debido a
que la percepción
que tienen sobre lo que es "conocimiento" y "atención
adecuada" depende de los servicios suministrados, y los criterios
para medirlos pueden variar enormemente de una familia a otra o
de un día a otro.

En este estudio se consideró el criterio de
Kelsey13, el cual señala que en ausencia de un
criterio que permita la comparación con un
estándar, es preferible comparar diferentes medidas
imperfectas entre sí, de dos observadores independientes.
De esta forma, más que evaluar la validez, se mide la
estabilidad de la medida, lo cual brinda información sobre
su calidad.

Como puede apreciarse por los resultados, no existe
relación directa entre los estadísticos para medir
consistencia interna y grado de concordancia entre los
evaluadores. Sin embargo, se encontró en algunos de los
puntos un alto grado de concordancia entre evaluadores y alta
consistencia entre ellos.

Una causa probable del hallazgo anterior, podría
ser el hecho de medir la misma variable desde diferentes
ángulos, el de la comunidad y el de la academia,
representada esta última por profesionales de diferentes
disciplinas y, por tanto, con diferentes percepciones de la
realidad.

DISCUSIÓN

Este estudio tiene implicaciones pedagógicas,
sociales y técnicas. El modelo
propuesto permite la participación de la comunidad en
el aprendizaje
del estudiante de salud y el reajuste de los contenidos,
pedagogías y escenarios de enseñanza, a las
expectativas de la comunidad.

Asimismo, enfatiza en el criterio de
participación de los usuarios en la calidad de la
atención y expone al estudiante a la realidad y valores de
personas diferentes del entorno universitario, al tiempo que
establece metodologías de evaluación flexibles,
fuera de lo tradicional.

Se confirma la hipótesis que la evaluación es
herramienta válida para planificar programas docente
asistenciales, al suministrar información oportuna y
confiable, y al involucrar actores que desempeñan un papel
clave en el mejoramiento de las condiciones de salud de la
población y en la formación de
profesionales de salud.

Es necesario comprender que la actividad de
evaluación, como se propone en este estudio, trasciende la
aplicación de herramientas
como el cuestionario, para ser un proceso
interactivo, donde cada participante tiene un papel y una
contribución que hacer. Por lo tanto, aunque el
cuestionario estructurado es un elemento clave dentro de esta
actividad, no puede cumplir por sí solo los objetivos de
la evaluación. Es necesario preguntar cuál es la
forma más efectiva de obtener la participación
permanente y activa de la comunidad en la evaluación de
los estudiantes y preguntar si los datos resultantes
de la evaluación van a ser utilizados de tal forma que la
evaluación cumpla su objetivo.

De igual forma, con este estudio quedó claro que
la evaluación debe estar ligada a procesos de
mejoramiento permanente si quiere convertirse en una actividad
continua que involucre y convoque a todos aquellos que son parte
del problema y de la solución.

Fortalezas y debilidades del estudio. Se observa que las
distribuciones de las respuestas muestran una alta
desviación, lo cual sugiere imperfecciones al recolectar
de información. Sin embargo, hay razones para pensar que
la calidad de la información es una de las fortalezas de
este estudio: primero, los resultados similares sobre el
desempeño de los estudiantes, encontrados en la
evaluación anual de la práctica y segundo, la
participación activa y permanente de docentes y
funcionarios de las instituciones de salud y las comunidades
donde se desarrolla la práctica, lo cual facilitó
su compromiso y voluntad para brindar información
pertinente y confiable.

Otros aspectos que pueden haber influido en la calidad
de los datos son la capacitación profesional de los
entrevistadores y su habilidad para hacer trabajo
comunitario, la excelente relación que se
estableció con las familias y el alto nivel de
recuperación de la información.

La limitación principal es la ausencia de un
constructo o criterio para medir la validez de la prueba.
Desarrollar un constructo no es una tarea fácil en este
caso, por la variabilidad de las medidas relacionadas con las
percepciones y sentimientos, con respecto a una variable
específica.

Un aspecto importante y desafiante de la
evaluación propuesta en este estudio, fue considerar a la
comunidad como la principal fuente de información. Existen
problemas
culturales relacionados con la aplicación de la
metodología, como el temor de las familias para evaluar a
quien consideran un "doctor".

Donabedian14 hizo un comentario sobre este
punto, afirmando que "hay que recordar que, a menos que se tomen
las debidas precauciones, los pacientes pueden mostrarse
renuentes a revelar sus opiniones, por temor a alienar a las
personas que les suministran el servicio
médico". En este caso, fue posible manejar esta
limitación pues la comunidad estaba altamente involucrada
con el programa y se suministró suficiente
información con respecto a los beneficios de su
participación en la evaluación y sobre la
oportunidad de estar vinculada en el proceso de toma de
decisiones, para mejorar la calidad del servicio recibido por
los estudiantes. Lo anterior no necesariamente se aplica a otro
contexto y por tanto, debe explorarse antes de iniciar esta
tarea.

RECOMENDACIONES

El primer paso para medir es responder a la pregunta
¿qué se va a medir? considerando el
conocimiento, las habilidades y las actitudes que el
estudiante o el profesional presenten. Una pregunta importante
que se debe responder antes de emprender una evaluación es
¿cómo se usarán los resultados y
quién los usará? La respuesta a estas dos preguntas
dará los criterios para establecer normas, los
métodos que se deben aplicar y las condiciones bajo las
cuales se debe lograr la evaluación.

La metodología e instrumentos aquí
propuestos se deben ajustar permanentemente, por el carácter subjetivo y dinámico de la
evaluación y el surgimiento de nuevas necesidades y
expectativas. Sin embargo, esta actividad debe entenderse como
parte de las tareas de la planificación de la
enseñanza, donde un aspecto central es el conocimiento
actualizado del contexto donde ésta se realiza.

Se recomienda hacer seguimiento a los puntos que
muestran baja consistencia interna o baja concordancia, para
averiguar las causas y decidir si se deben reemplazar o ajustar,
en forma tal que midan la misma característica de la
variable. Es importante conocer la opinión de la comunidad
sobre la inclusión de otros aspectos o preguntas,
cuidándose de no adicionar complejidad al cuestionario y a
los otros métodos de recolección de
información.

Se recomienda también aplicar el cuestionario
más de una vez en el semestre, pues los resultados pueden
cambiar, por la variabilidad de la percepción de las
familias o de los usuarios sobre los diferentes rasgos a ser
evaluados.

Los hallazgos de este estudio deben atraer la
atención de los educadores hacia el objetivo de formar
estudiantes preparados, para proporcionar servicios de salud que
cumplan con las expectativas de la comunidad y de las
instituciones de servicios. No sería apropiado la
aplicación de un modelo único por la diferencia en
el concepto de
calidad de cuidado entre proveedores de servicios y comunidades.
Por tanto, en lugar de amalgamar los puntos de vista de los
docentes y los de la comunidad, se recomienda identificar las
diferencias y considerarlas como insumo para ajustar los planes
de estudios.

Es necesario que docentes, estudiantes y funcionarios de
los sistemas de
salud, conozcan la lógica
comunitaria, las razones que animan a la comunidad para
comportarse de una determinada forma y su reacción ante el
sistema de
prestación de servicios; sólo de esta manera se
puede, sino hablar de lo mismo, por lo menos respetar la
diferencia.

AGRADECIMIENTOS

La autora agradece especialmente a las familias de las
comunas 7 y 20 de Cali, al equipo de trabajo del Proyecto UNI de
Cali y a los docentes y estudiantes que realizan la
práctica comunitaria en los sitios señalados. Al
Center for Medical Education de la Universidad de
McGill, Montreal, Canadá, y particularmente el apoyo
técnico de su directora, la doctora Vimla Patel. Al
International Development Research Center (IDRC) por el apoyo
financiero para realizar el estudio; a la Fundación WK
Kellogs, a través del Proyecto UNI, por facilitar la
infraestructura para realizar este trabajo.

SUMMARY: A methodology for evaluation of health
student's achievement, taking as an indicator the user's
satisfaction, was designed and proved. Fifty medicine student's
(50%) and 94 families from two region of Cali, Colombia
participated. According to family's opinion, the quality of care
given by the students is related with type of services provided,
knowledge about the situation, communication and information
given to the users and leadership to improve the service. The
methodology used covered interviews, focus group discussions,
meetings with key informants, and the application of a structured
questionnaire. Statistic such as Kuder Richardson and Kappa
Statistic were used to analyzed the inter rater validity and the
internal consistency of the questionnaire. It was found that
there are two logical in the evaluation of the quality; one from
the suppliers, which emphasis is in the action done according to
clinical protocols; and the users, that makes emphasis in the
relations between suppliers – and users. The academic programs
are based mainly on the first one. The results of this study
demonstrate that the proposed assessment activity will allow the
educational and health services institutions to have relevant and
dynamic information as feedback for planning and adjustment their
programs. At the same time, it will allow the community to
participate in an effective way in aspects related to their
health. It was concluded that the permanent participation of the
community in the evaluation of the students it is a key aspect to
adjust the educational programs to the needs and expectations of
the society.

REFERENCIAS

1. Chandler M, Chapman M (eds.). Criteria for
competence: controversies in the assessment of children's
abilities. Hillsdale; Lawrence Erlbaum, 1991.

2. Usherwood T, Challis M, Foesbury H, Hannay D.
Competence-based summative assessment of a student-directed
course: Involvement of key stakeholders. Med Educ 1995; 29:
144-49.

3. Kisil M, Chaves M. Linking the university with the
community and its health system. Med Educ 1994; 28:
343-49.

4. Reckase M (editorial). J Edu Measur 1993; 30:
185-86.

5. Broadfoot P (editorial). Assess Edu 1994; 1:
3-10.

6. Patel V, Arocha JF, Kaufman DR. Cognition and medical
education: a critical appraisal. Montreal; McGill University,
1994.

7. Gonnella JS, Hojat M, Erdmann JB, Veloski JJ (eds.).
Assessment measures in medical schools residency and practice:
the connections. New York; Springer Verlag, 1993.

8. Swanson DB, Norman G, Linn RL. Performance-based
assessment: Lessons from the health professions. Edu Res 1995;
24: 5-11; 35.

9. Sullivan L, Dukes K, Harris L, Dittus R, Greenfield
S, Kaplan S. A comparison of various methods of collecting
self-reported health outcomes data among low -income and minority
patients. Med Care 1995; 33: AS183-94.

10. Carey M, Smith WM. Capturing the group effect in
focus group: a special concern in analysis. Qual Health Res 1994;
February: 123-27.

11. Wolf TM. Coping and health: Enhancing well-being
during medical school. Med Educ 1994; 28: 8-17.

12. Streiner DL, Norman GR. Health measurement scales. A
practical guide to their development and use. Oxford Medical
Publications 1989; 48-51; 94-5.

13. Kelsey L, Thompson D, Evans A. Methods in
observational epidemiology. Oxford University Press 1986;
289-92.

14. Donabedian A. The quality of care: How can it be
assessed? In Quality assurance in hospitals: strategies for
assessment and implementation. Graham NO (Ed.). Gaithersburg;
Aspen Publications, 1990. Pp. 14-28.

Ligia de Salazar, Enf., MAS, MPH, Ph.D.
Directora, Centro para el Desarrollo y
Evaluación de Tecnología en Salud
(CEDETES). Docente Escuela de
Salud
Pública, Facultad de Salud, Universidad del Valle.
A.A. 20637 Cali, Colombia.